El 15 de enero de 2025, la empresa tecnológica Moonshot de Beijing anunció el lanzamiento oficial de su nuevo modelo de comprensión de imágenes multimodales moonshot-v1-vision-preview. Este modelo mejora las capacidades multimodales de la serie de modelos moonshot-v1, ayudando a Kimi a comprender mejor el mundo. El modelo Vision posee una potente capacidad de reconocimiento de imágenes, capaz de identificar con precisión detalles complejos y diferencias sutiles en las imágenes, distinguiendo objetos similares pero no idénticos, ya sean alimentos o animales. Por ejemplo, frente a 16

ByteDance ha lanzado recientemente una nueva función para su aplicación Doubao: la comprensión de imágenes. Tanto la aplicación móvil como la versión para PC de Doubao han añadido un botón de foto y cámara, permitiendo a los usuarios subir imágenes para que el sistema las identifique. La función de comprensión de imágenes de Doubao no se limita al reconocimiento de texto; también analiza el contenido de la imagen, pudiendo incluso comprender y explicar chistes.

En el campo de la tecnología actual, CLIP (Contrastive Language-Image Pre-training) es un importante modelo multimodal básico. Mediante el uso de una pérdida de aprendizaje por contraste en pares de imágenes y texto a gran escala, combina señales visuales y de texto en un espacio de características compartido. CLIP, como sistema de recuperación, admite varias tareas, como la clasificación, detección, segmentación y recuperación de imágenes y texto sin necesidad de entrenamiento previo. Además, como extractor de características, se utiliza en casi

La empresa xAI, propiedad de Elon Musk, ha añadido recientemente capacidades de comprensión de imágenes a su modelo de IA Grok. Los usuarios de pago de la plataforma X ahora pueden cargar imágenes a su asistente de IA y hacer preguntas relacionadas. Esta actualización ha sido confirmada oficialmente en la plataforma X por empleados de xAI y un portavoz oficial de Grok. Musk mostró en la plataforma las nuevas capacidades de Grok, afirmando que no solo puede comprender el contenido de las imágenes, sino que también puede interpretar los elementos humorísticos que contienen. Sin embargo, también admitió que esta función se encuentra en una etapa temprana y que el equipo seguirá trabajando para mejorarla. Cabe destacar que desde agosto de este año, se ha dirigido a...

Microsoft lanza Phi-3.5-vision, un modelo de IA ligero y multimodal de código abierto, diseñado para procesar entradas de texto y visuales, con soporte para una longitud de contexto de 128K. Este modelo es adecuado para entornos con recursos limitados y ofrece funciones como comprensión de imágenes, OCR, análisis de gráficos, y resumen de múltiples imágenes, mostrando un rendimiento y una latencia excepcionales. Consta de 4.200 millones de parámetros y se ha entrenado con datos de alta calidad para garantizar el rendimiento y la privacidad. Incluye tres modelos: IA ligera, experto mixto y modelo multimodal, todos ellos mostrando un rendimiento excelente en las pruebas de referencia de procesamiento de imágenes y vídeo.

La versión 2.5 de InternLM-XComposer (书生·浦语灵笔), desarrollada por el Laboratorio de Inteligencia Artificial de Shanghai, se centra en la capacidad de entrada y salida de contextos largos, funcionando sin problemas con una longitud de 96K mediante entrenamiento con datos de imagen-texto entrelazados de 24K. Sus mejoras incluyen: comprensión de imágenes de alta resolución, comprensión de video de grano fino y diálogo multironda con múltiples imágenes. En cuanto a las aplicaciones, se puede utilizar para crear páginas web y redactar artículos de alta calidad con imágenes y texto. Las evaluaciones muestran que supera a los modelos de código abierto más avanzados en 16 pruebas de referencia, y en tareas clave se compara con GPT-4V y Gem.